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Resume : Dans cet article nous precisons deux notions introduites par Roger Howe [Hw] pour 
etudier les representations unitaires des groupes de Lie : les representations unitaires fortement 
tragables et le front d'onde d'une representation unitaire. Nous montrons que pour toute distri- 
bution (p a support compact sur un groupe de Lie connexe dont le front d'onde ne rencontre pas 
l'oppose du front d'onde de la representation % l'operateur 7T{(p) est regularisant, generalisant 
ainsi un resultat de [M2]. De plus sous les memes hypotheses 7r(<p) est a trace si 7r est fortement 
tragable. Dans le cas ou la representation % est irreductible et associee par la methode des orbites 
a une orbite Q fermee et temperee, nous montrons qu'elle est fortement tracable et nous etendons 
la formule des caracteres aux operateurs 71 ((f) pour les distributions (f a support compact dont le 
front d'onde verifie la condition de transversalite ci-dessus. 



Abstract : We develop in this article two notions due to R. Howe [Hw] related to unitary 
representations of Lie groups, namely strong trace class representations as well as the wave front 
set of a unitary representation. Generalizing a previous theorem [M2] we show that for any 
compactly supported distribution (p on a Lie connected group the wave front set of which does 
not intersect the opposite of the wave front set of the representation it the operator 7r(<£>) is a 
smoothing operator, moreover a trace class operator if 7T is of strong trace class. In case the 
representation 7r is irreducible and associated to a closed and tempered coadjoint orbit O we show 
that it is of strong trace class, and we extend the character formula to the operators 7r(<£>) for any 
compactly supported distribution tp satisfying the above transversality condition. 



Introduction 



Dans la correspondance de Kirillov entre orbites et representations le caractere de 
la representation 7r est donne par une integrale sur l'orbite coadjointe O correspondante. 
Nous nous proposons d'etendre cette formule des caracteres a certains operateurs 7r(<p) ou 
(p est une distribution a support compact sur le groupe. 

Le probleme peut se formuler brievement comme suit : soit G un groupe de Lie connexe 
d'algebre de Lie g, et soit % une representation unitaire irreductible de G associee a une 
orbite coadjointe O fermee, admettant un caractere-distribution donne par une integrale 



1 



orbitale "a la Kirillov" : 

Tr7r(v?) = «(7r) \ ^(P^.j G .(<p o exp)) (oj) dfa(u) 

ou k{tt) est un entier, jq le jacobien de l'exponentielle et P$i est une fonction analytique. 
Si <p est une distribution a support compact sur G on peut definir l'operateur ir((p) sur les 
vecteurs C°° de la representation. Or il resulte des travaux de J-Y. Charbonnel [Cha 2,3] 
que l'orbite Q, etant fermee, est temperee. Done si le front d'onde WF((p) en l'element 
neutre ne rencontre pas le cone asymptote a fi et si le support de <p est assez petit, 
l'integrale orbitale converge. Peut-on pour autant en deduire que l'operateur ir(<p) est a 
trace et etendre la formule des caracteres aux operateurs de ce type? 

Nous donnons une reponse affirmative a cette question en replagant ce probleme dans 
un cadre general trace par Roger Howe [Hw] autour des notions de front d'onde d'une 
representation unitaire ir et de representation fortement tragable : Le front d'onde de it 
est une partie conique fermee du fibre cotangent T*G prive de la section nulle, invariante 
par translation a gauche et a droite, definie comme l'adherence de la reunion des fronts 
d'onde W FiTr^iT)) ou T parcourt l'ensemble des operateurs a trace sur l'espace de n, et ou 
Tr n (T)(g) = Tr(7r(g)T). Une representation tc est fortement tragable s'il existe un element 
v formellement positif de l'algebre enveloppante U(q) tel que ir(v) soit essentiellement 
auto-adjoint et inversible sur l'espace des vecteurs C°°, et d'inverse a trace. 

Dans la premiere partie nous donnons trois criteres pour qu'une representation unitaire 
7r soit fortement tragable (proposition LI). En particulier n est fortement tragable si et 
seulement s'il existe un entier m tel que pour toute fonction <p e C™{G) l'operateur ir((p) est 
a trace. L'existence de representations tragables non fortement tragables est un probleme 
ouvert (aimablement communique par R. Howe). 

Dans la seconde partie nous rappelons quelques resultats de R. Howe sur le front d'onde 
d'une representation unitaire. Le lien entre ces deux notions est le suivant : si tt est une 
representation unitaire fortement tragable, son front d'onde en l'element neutre coincide 
avec le front d'onde de son caractere-distribution [Hw theorem 1.8]. La demonstration de 
ce resultat etant donnee par R. Howe dans le cas unimodulaire, nous montrons qu'elle reste 
valable dans le cas general (theoreme II. 2). 

La troisieme partie est consacree a la demonstration du resultat principal (theoreme 
III. 7) : pour toute distribution <p a support compact sur G telle que : 

WF((p) n -WF^ = 0, 

l'operateur a priori non borne 7r(<p) que Ton peut definir sur le domaine des vecteurs C°° est 
en fait borne, et meme regularisant, e'est-a-dire qu'il envoie l'espace de la representation 
dans l'espace des vecteurs C°°. Dans le cas ou n est de plus fortement tragable, l'operateur 
7r(<p) est a trace. 

L' ingredient essentiel de la demonstration est le noyau de la chaleur (pt)t>o sur le 
groupe, qui fournit une famille iv(pt) croissante d'operateurs bornes qui converge fortement 
vers l'identite. Pour tout operateur de Hilbert-Schmidt T sur l'espace de la representation 
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respectant le domaine de n(<p) on montre que n(<p)T est de Hilbert-Schmidt et que ir(p t * </?)T| 
converge vers n((p)T en norme de Hilbert-Schmidt lorsque t — > 0. Plus precisement nous 
montrons que le front d'onde de <p* * tp ne rencontre pas WF^, ce qui nous permet de con- 
siderer le produit des deux distributions Tr^TT*) et <p* *<p, et nous demontrons l'egalite : 

\\ic(<p)T\\l =< Tr„(TT*). (<p* * <p), 1>. 

Ceci entraine le fait que ir(ip) est borne (corollaire III. 5). Pour toute partie conique 
fermee V de T*G — {0} ne rencontrant pas WF n on designe par E' T (G) l'espace des distri- 
butions a support compact dont le front d'onde est inclus dans T, muni d'une topologie 
localement convexe a base non denombrable de voisinages ([Dui], [Ga]) dont nous rappelons 
la definition en III. 1 . Nous ne pouvons pas montrer en general la continuite sequentielle de 
la correspondance ip — > ir((p) de E' v (G) dans l'espace des operateurs bornes. Mais lorsque la 
representation est fortement tragable cette correspondance est sequent iellement continue 
de £f(G) dans l'espace des operateurs a trace. 

Dans la quatrieme partie nous montrons (theoreme IV. 1) que toute representation 
unitaire irreductible rr associee a une orbite coadjointe O par une "bonne" formule des 
caracteres de Kirillov est fortement tragable. Plus precisement nous supposons que la 
representation it verifie l'hypothese suivante (jc designant le jacobien de l'exponentielle : 
cf notations 0.1) : 

Hypothese (H) : 

7r est associee a une orbite coadjointe fermee O par la methode des orbites de Kirillov, de la 
maniere suivante : il existe un voisinage exponentiel U de dans q, un entier strictement 
positif k(tt) et une fonction Pn analytique partout non nulle sur U et telle que P(0) = 1, 
tels que la formule des caracteres : 

(*) Tryr(T) = «(tt) / r(P^.j G .{T o exp)) (u) d(3 n {u) 

Jn 

soit verifiee pour toute fonction T de classe C°° a support compact inclus dans exp U. 

R. Howe a indique dans le cas nilpotent comment calculer le front d'onde d'une telle 
representation [Hw proposition 2.2] : 

WF n (e) = -AC (Q) 

ou AC (ft) designe le cone asymptote a l'orbite. Nous donnons une demonstration de 
ce resultat et nous montrons (theoreme IV. 3.1)) que l'inclusion : WF 7T (e) C — AC (ft) 
reste valable dans le cadre general de l'hypothese (H). Cette derniere inclusion est un cas 
particulier d'un resultat general sur le front d'onde de la transformee de Fourier d'une 
mesure positive temperee [D-V lemme 4]. Nous ignorons si l'egalite verifiee dans le cas 
nilpotent reste valable dans le cadre general de l'hypothese (H). 

Utilisant le theoreme III. 7 nous montrons (theoreme IV. 3. 2)) que la formule des car- 
acteres est verifiee pour tous les operateurs n(ip) ou ip est une distribution a support 
compact contenu dans un voisinage convenable de l'element neutre telle que : 

WF(ip) n -wf^ = 0. 
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En particulier dans le cas des operateurs pseudo-differentiels au sens de [M2] , qui sont des 
operateurs ir{(p) ou tp est une distribution a support compact et a support singulier reduit 
a {e}, la condition ci-dessus implique au vu du theoreme IV. 3 : 

WF((p) n AC (SI) = 0. 

Dans la cinquieme partie nous comparons nos resultats avec un resultat anterieur [M2 
theoreme III.l] dont la demonstration etait incomplete : ce resultat apparait ici comme 
une consequence directe du theoreme III. 7, alors que la demonstration succincte qui en est 
donnee dans [M2] s'appuie quant a elle implicitement sur le theoreme IV. 3. 2) du present 
article. Nous donnons enfin une application de nos resultats a une conjecture de M. Duflo 
et M. Vergne [D-V] sur la restriction d'une representation it fortement tragable a un sous- 
groupe ferme transverse au front d'onde de n. 

Remerciements : Je remercie vivement Detlef Miiller d'avoir attire mon attention sur 
cette lacune dans la demonstration du theoreme III.l de mon article anterieur [M2], ainsi 
que pour ses remarques utiles concernant la troisieme partie. Je remercie egalement Ab- 
derrazak Bouaziz pour d'utiles discussions concernant la derniere application (paragraphe 
V.2). 

Notations et rappels : 

(0.1). On designera par G un groupe de Lie reel connexe de dimension n, d'algebre de Lie 
et de dual q* . On designe par dx une mesure de Lebesgue sur g, et par dg une mesure 
de Haar a gauche sur G normalised de telle fagon que le jacobien jo de l'exponentielle 
s'ecrive : 

2 g — ad x 

jG{x) = l**<^->l 

On designe par = det Ad g la fonction module. Par le choix de la mesure de Haar dg 
nous identifierons l'espace C°°(G) et l'espace des densites C°° sur G. Par dualite l'espace 
des distributions sur G s'identifie a l'espace des fonctions generalisees sur G. 

(0.2). Soit U un voisinage de dans q tel que l'exponentielle soit un diffeomorphisme de 
U sur son image. Pour toute distribution <p sur G a support compact inclus dans exp U 
on definit la distribution cp par : 

<p = j G .exp*<p 

(0.3). Soit V un ouvert de G. Soit m G NU {+oo}. On designe par C m {V) (resp. C?(V)) 
l'espace des fonctions (resp. des fonctions a support compact) m fois differentiables sur V. 

(0.4). On designe par V'(V) l'espace des distributions sur V, et par £'(V) l'espace des 
distributions a support compact sur V. On met sur S'(V) la topologie limite inductive des 
V(K) ou K parcourt l'ensemble des compacts de V . En particulier une suite ipk converge 
dans E'{y) si et seulement si elle converge dans V(V) et tous les supports des <fk sont 
contenus dans un meme compact K. 

(0.5). On designera par T*G\{0} le fibre cotangent de G prive de la section nulle. Une 
partie C de T*G\{0} est conique si pour tout (<7,£) G C, (g,t£) G C pour tout reel t > 0. 
On notera alors — C l'ensemble des {(g, — £), (g,£) G C}. 
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(0.6). Soit Ti un espace de Hilbert, qui sera toujours suppose separable. On designe par 
J p le p ieme ideal de Schatten de 7i. En particulier designe l'espace des operateurs 
bornes sur H, J\ et J2 les ideaux de formes des operateurs a trace et des operateurs 
de Hilbert-Schmidt respectivement. 

(0.7). On designera par 7r une representation unitaire fortement continue du groupe de 
Lie G dans un espace de Hilbert separable qui sera note H n . On designera alors par 7Y£° 
l'espace des vecteurs indefiniment differentiates de la representation. L'espace 7i^° est 
constitue des vecteurs u tels que pour tout v G H n le coefficient : 

C U;V : g 1 — X n(g)u, v > 

soit C°° sur G. 

(0.8). On definit pour tout <p G S'(G) l'operateur (en general non borne) 7r(<p) de domaine 
par la formule : 

< n((p)u, v >=< if, C UjV > 

(Voir [J0] pour une definition dans le cadre general des representations dans un espace de 
Banach). La correspondance ip 1— > 7r(<p) est continue de S'{G) vers l'espace des operateurs 
de domaine 7i£° muni de la topologie de la convergence faible generalisee au sens de Kato. 

(0.9). Pour toute distribution ip e S'(G) on pose : 

ou Aq designe la fonction module et % le diffeomorphisme g 1— > g . On a pour tout couple 
(it, v) dans : 

< Tr((p)u, v >=< u,7r(cp*)v > . 

Proposition 0.1. 

Pour tout couple (S, T) de distributions a support compact sur G et pour tout u vecteur 
C°° de la representation on a : 

n(S*T)u = n(S)n(T)u 

Demonstration. C'est clair dans le cas ou S,T sont dans Cq°(G). Soit U un voisinage 
exponentiel de dans q. On se donne une fonction a G C^(expC7) positive d'integrale 1, 
et on considere l'approximation de l'identite : 

ak(expx) = k n a(ex.p(kx)) 

Posons Tk = ak*T et Sk = a/ c *S'.La distribution Sk*Tk converge vers S*T pour la topologie 
de £'{G). Pour tout u G 7i^° et pour tout v le scalaire < 7r(S , / c )7r(T/ c )w, v > converge done 
vers < 7r(S)7r(T)u, v >, et < 7t(Sk * Tk)u, v > converge vers < tv(S * T)u, v >. La 
proposition decoule alors de l'egalite : 

7r(S k * T k ) = Tr(S k ) o n(T k ) 
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I. Representations fortement tradables 

Soit G un groupe de Lie, q son algebre de Lie et U son algebre envelopppante, que 
nous identifierons avec l'algebre des distributions de support {e} sur G. On designe par 
vhu* l'unique anti-automorphisme de U(q) tel que x* = —x pour x G g. Un element 
v G U{q) est dit formellement positif [Hw § I] s'il s'ecrit sous la forme : 

k 

U = Y1 U *i Ui 
i=l 

Un exemple d'element formellement positif est le laplacien : 

n 

1 

pour une base (Xi, . . . ,X n ) de q. Une representation unitaire tt de G est dite fortement 
tragable [Hw § I] s'il existe un element u G U{q) formellement positif tel que ir(u) soit 
inversible sur et d'inverse a trace. 

Proposition 1.1. 

Soit it une representation unitaire d'un groupe de Lie G. Les quatre conditions suivantes 
sont equivalentes : 

1) n est fortement tragable 

2) II existe un entier s tel que pour tout entier s > s Voperateur 7r(l + A)~ s est a trace. 

3) II existe un voisinageV dee dans G et un entier m tel que pour toute fonction (p G C™(V) 
Voperateur ir((p) est a trace. 

4) II existe un entier m tel que pour tout (p G C™(G) Voperateur ir((p) est a trace. 

Demonstration. On montre facilement que si u est formellement positif il en est de meme 
de u k pour tout k. 2)=^> 1) est alors immediat. L'implication 1)=^ 4) est due a R. 
Howe : supposons que % soit fortement tragable, et soit v 6 formellement positif 

tel que ir(v) soit inversible d'inverse a trace. Alors si (p G C™(G) avec m assez grand la 
convolee v * (p est une fonction continue a support compact sur G. On deduit 4) de l'egalite 
entre operateurs bornes : 

7r(</?) = n(v)~ 1 n(v * (p). 

4)=^> 3) etant immediat, reste l'implication 3)=^> 2). On suppose que 3) est verifiee, et 
on restreint s'il le faut le voisinage V de fagon a ce que l'operateur de convolution par 
(1 + A) s soit elliptique sur V. II existe alors deux fonctions <p et ip dans C^ s_n_1 (U) et 
C^°(V) respectivement, telles que : 

(1 + A) s * v? = 5 + 
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L'operateur 7r(l + A) est essentiellement auto-adjoint [Ne-St th. 2.2], et son spectre est 
contenu dans [l,+oo[. D'apres le theoreme spectral cet operateur est inversible sur son 
domaine et son inverse est borne. On peut done ecrire : 

tt(1 + A)" s = n((p) - tt(1 + A)" s tt(^) 

Si l'entier s est assez grand pour que Ton ait 2s — n — 1 > m il est done clair que 7r(l + A)~ s 
est a trace. 

• 

Remarque : considerons la famille d'espaces de Sobolev introduits par R. Goodman 
[Go] dermis par completion de pour les normes : 

t 

\\u\\ t = \\tt(1 + A)2 U \\ 

On voit que la condition 2) de la proposition entraine que la famille des espaces est 
nucleaire, e'est-a-dire que l'inclusion de dans 7iJ r _s est a trace pour s assez grand. Le 
pas s peut ici etre choisi independant de t. 

II. Front d'onde d'une representation 

Dans ce paragraphe nous rappelons la notion de front d'onde d'une representation 
unitaire et nous donnons la demonstration du fait que le front d'onde d'une representation 
fortement tragable et le front d'onde de son caractere coincident en l'element neutre. Nous 
reprenons simplement la demonstration que R. Howe donne dans le cas unimodulaire 
et nous montrons qu'elle est valable en general. Nous avons choisi d'enlever la section 
nulle du front d'onde, comme dans le cas du front d'onde d'une distribution. Soit tt une 
representation unitaire d'un groupe de Lie G. Pour tout T e Ji(H 7r ) on considere la 
fonction : 

Tr n (T):g^Tr(ir(g)T). 

que Ton peut aussi voir comme une distribution sur G. Le front d'onde WF^ est alors 
defini comme l'adherence dans T*G\{0} de la reunion : 

|J WF{Tr n (T)Y 

TeJi 

L'ensemble WF^ est invariant par translation a gauche et a droite. II est done 
entierement determine par son intersection WF® avec T*G, qui est un cone ferme Ad* G- 
invariant dans g* prive de {0}. Le front d'onde d'une representation est caracterise par les 
proprietes suivantes : 
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Proposition II. 1 (R. Howe). 

Soit n une representation unitaire d'un groupe de Lie G d'algebre de Lie q, soit U un ouvert 
de g* et soit U I'ouvert invariant par translation a gauche de T*G tel que U fl T*G = U. 
Alors les conditions suivantes sont equivalentes : 

1) UH WF° = 0. 

2) Pour tout T G J±, pour tout voisinage V de e dans G et pour tout couple (<fi a ,i(^ a ) 
dependant de maniere C°° d'un parametre a G M fc ou <p a G C£°(V), et ip a G C°°(G) a 
valeurs reelles telles que dip a (supp(p a ) C U, l'integrale : 

I(<p a ^ a ,T)(t) = [ Tr^{T){g)(f a {g)e it ^°'^ dg 
Jg 

est a decroissance rapide lor que t — > +oo, et on a les estimations : 

supt N \I(<p a ,i; a ,T)(t)\ < Cn^^WT^ 
t>i 

les constantes Cn pouvant etre choisies independamment de a lorsque a varie dans un 
compact de M. k . 

3) pour tout voisinage V de e dans G, pour tout couple (<fi a ,i(^ a ) dependant de maniere 
C°° d'un parametre a G M. k oil <p a G C%°(V), et ip a G C°°(G) a valeurs reelles telles que 
dt/j a (suppcp a ) C U, la norme d'operateur de 7r(</? a e lt ^ a ) est a decroissance rapide lorque 
t — > +oo, et les semi-normes : 

lN(<fa,^o) = supt JV ||7r(v? Q e^)|| 00 
t>i 

sont bornees uniformement lorque a varie dans un compact de R k . 
Demonstration, d'apres l'egalite : 

I(<p a ,iJ> a ,T)(t) = Tr(7r(v? a e^)T) 
et la dualite entre J\ et Joo : 

I Tr AT\ 

VA G Joo, ||^4||oo = sup — — — , 
TeJi-{o} W 1 Hi 

les conditions 2) et 3) sont equivalentes, et dans la condition 2) les meilleures constantes 
sont : 

C N (ip a , lp a ) = 7at(</7 q , lp a ). 

Par ailleurs 1) implique (par bi-invariance du front d'onde WF n ) que U ne rencontre 
pas WF^. Ceci entraine 2) de par la definition du front d'onde de Tr n (T) [Dui proposition 
1.3.2]. Reciproquement 2) implique que U est disjoint du front d'onde de Tr^T) pour tout 
T G Ji, ce qui entraine 1) par bi-invariance de WF n . 
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Theoreme II.2 (R.Howe). 

Soit 7T une representation unitaire fortement tragable d'un groupe de Lie G. Soit Xn 
caractere distribution de n, et soit WF°(xn) 1 'intersection du front d'onde de x-n avec 
T*(G). Alors on a : 

WF{ X .) C WF^ 

WF° = WF°(x.)- 

Demonstration. Pour montrer la premiere inclusion, on considere un element v £ U(g) 
formellement positif tel que tt(v) soit inversible et d'inverse T dans J\. Pour tout ip £ 

C c °°(G)ona: 

Xn(<p) = Tr(n(p)n(v)T) 
= Tr(n(p*v)T) 
= Tr 7V (T)(<p*v), 

c'est-a-dire : 

Xir = r Tr w (T)*v*. 

Comme la convolution par v* respecte le front d'onde on a les inclusions : 

WF{xi<) C WFiTt^T)) C WF n . 

Reciproquement soit £ non nul dans g*\WF° (xir), soit U un voisinage relativement 
compact de £ disjoint de WF°(x-k)i et soit U le sous-ensemble de T*G construit a partir 
de U par translation a gauche. Comme WF(x-k) est ferme il existe un voisinage V de e 
dans G tel que U nT*V soit disjoint de WF( Xn )- 

Soit Vi un voisinage symetrique de e dans G tel que V? C V, que Ton supposera 
relativement compact, et soit p £ C£°(Vi), ip £ C°°(V) telles que dip(suppp) C U. Alors 
Xn{L g .((pe lt '^)') est a decroissance rapide lorsque t — > +00, et ceci uniformement pour tout 

g£V 1 . 

On pose (ft = </?e**^, et on calcule explicitement la norme de Hilbert-Schmidt de ir(ip t ), 
ce qui nous donne : 

Ik(^)ll2= / ( Pt(y)X7r(L y ipt) dy 

qui est done a decroissance rapide d'apres ce qui precede (ici dy designe une mesure de 
Haar a gauche sur G). C'est vrai aussi pour la norme ||7r(</?t)||oo> et il est clair que si les 
fonctions p et ip dependent de maniere C°° d'un parametre auxiliaire a variant dans un 
compact de R k les semi-normes : 

sup t N ||7r(v?t) ||oo 
t>i 

sont bornees independamment de a. Le critere 3) de la proposition II. 1 dit alors que U 
est disjoint de WF®, ce qui demontre le theoreme. 
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Remarque : l'hypothese de tragabilite forte n'intervient que dans la demonstration de la 
premiere inclusion. II est done vrai que pour toute representation tragable on a : 

WF° C WF°( X n). 
III. Une classe d'operateurs regularisants 

III.l. Quelques espaces de distributions 

Nous rappelons ici la definition et quelques proprietes des espaces T>' r (X) introduits 
par L. Hormander ([Hr §2.5], [Ga], [Dui]), ainsi que de leurs variantes a support compact 

Soit X une variete, soit V une partie conique fermee de l'espace cotangent T*X prive 
de la section nulle. On notera pour tout x G X : 

r x = rn t*x. 

On considere l'espace V' r (X) des distributions a support compact sur X dont le front 
d'onde est contenu dans V. On met sur V' r (X) la topologie (localement convexe a base 
non denombrable de voisinages) definie par les semi-normes de la topologie de V(X) et 
les semi-normes : 

Cjv, a ,v» M = sup t n | < e~ iT ^a, <p > | 

T>1 

ou N est un entier positif, a G C£°(X) et ip G C°°(X) est une fonction a valeurs reelles 
telle que di^{g) ^ F pour tout g G suppw [Dui§ 1.3]. On rappelle [Dui theorem 1.3.6] que si 
Ti et T 2 sont deux parties coniques fermees de l'espace cotangent T*X prive de la section 
nulle telles que T t n — r 2 = le produit des fonctions C°° s'etend en une unique operation 
bilineaire continue : 

^(I)x^(I)^D^-(I) 
(u, v) I — > uv. 

On notera : S^(X) l'ensemble des distributions a support compact appartenant a T>' r (X). 
On met sur S^{X) la topologie limite inductive des T>' T (K) ou K parcourt les compacts 
de X. C'est un espace localement convexe a base non denombrable de voisinages, et il est 
clair que le produit defini ci-dessus est continu de S^^X) x E^^X) dans E'- +p (X). 

Proposition III.l [Dui proposition 1.3.4]. 

Soit f une application C°° d'une variete X vers une variete Y. Pour toute partie conique 
fermee V de T*X\{0} on considere : 

/*r = {(y, V ) G T*Y\{0}/3x eX,y = f(x) et (x, f* V ) G V}. 

Alors 1 'application f se prolonge en une application lineaire continue : 

/„:#(*)— ►fi^y), 

et si 1 'application f est propre elle se prolonge en une application lineaire continue : 

/ t :^(X)^PU7). 
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Demonstration. La topologie de V r (X) est definie par les semi-normes : 

C u (<p) = | < <p, u > | 

Cn^Av) = snpt N \ < <p, cte~ iH > | 
t>i 

pour «,a6C c M (I),iVGNet^6 C°°(X) telle que ^(suppa) D T = 0. Si / est propre 
u o f et a o f sont dans C£°(X), et on a egalite entre semi-normes : 

CuU*^) = C uo f((p), CN,a,i,(f*u) = CN,aof,iPof(u) 

ou cette fois-ci u, a G C C °°(T), JV G N et ^ G C°°(Y) telle que G^(suppa) n /*r = 0. La 
composition des differentielles : 

d x (ipof) = f*(d f ( x )i()) 

et la definition de /*r permettent de conclure a la continuity de /* : V T {X) — > £^_(Y). 

Le passage par limite inductive au cas des distributions a support compact est alors 
immediat. 

III. 2. Front d'onde et convolution 

Nous montrons ici un resultat sur le front d'onde de la convolee de deux distributions 
sur un groupe de Lie G dont Tune est a support compact. Ce resultat decoule directement 
de la proposition III.l. 

Proposition III. 2. 

Soient <p et ip deux distributions sur un groupe de Lie G dont Vune est a support compact, 
et soit z G G. Alors le front d'onde de (p * ip en z verifie : 



WF z (^*i;)c [J R*-iWF x (<fi) fl L^-^W Fy{ip) 

xy=z 

ou Vadherence est prise dans T*G — {0}. De plus si V et V" sont deux parties coniques 
fermees de T*G\{0} et si on considere la partie conique fermee V de T*G\{0} definie par : 



xy=z 

la correspondance (</?, VO i— > <p * ip : 

£r>{G) x £^,{G) — > 

est sequentiellement continue. 
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Demonstration. Papplication produit : 

m : G x G — > G 

se prolonge a l'espace T>' m (G x G) des distributions u sur G xG telles que la restriction de 
m au support de u est propre : 

m* : P^G x G) — > V\G). 

En particulier si <p ou ip est a support compact sur G, le produit tensoriel <p <8> -0 appartient 
a T>' m (G x G) et on a par definition du produit de convolution : 

<£> * ip = m*((p <g> V)- 

Soient T, r' et T" comme dans l'enonce de la proposition. En appliquant la proposition 
III.l on voit que la correspondance : 

£f, xr „(G x G) > E!—^-^(G) 

ip ® -0 i — ► ip * i(j 

est continue. Par ailleurs la correspondance bilineaire : 

V' r/(G) x 2^, /(G) — > X*^(G x G) 

(<p, ip) i — >■ <p ® V 7 

est sequentiellement continue [Ga], et on voit par passage a la limite inductive sur les 
compacts que c'est egalement vrai en remplagant V par £' . II suffit done de montrer que : 

mjp x r") c r. 

La differentielle du produit s'ecrit : 

Dm(x, y; X, Y) = (xy, (R y )*X + (L X )*Y). 
Sa transposed, de T* y G vers T* x y ^(G x G) s'ecrit done : 

m*(xy, rj) = (x, y; {R* y <g> L* x )5r]), 
ou 5 est la transposee de l'operation d'addition dans T xy G. On voit done que : 
{m*)-\T' x x rj) = {(xy, V )/5ri G i?;^ x i?^^} 

c{(xy, »/)/»/ eiij-irini^-xr;}. 

Done m*(r' x r") C T, ce qui montre la proposition. 
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Par bi-invariance du front d'onde d'une representation unitaire on obtient immediatement 
le resultat suivant : 

Corollaire III.3. 

1 ) Soit it une representation unitaire du groupe de Lie G, et soient <p et ip deux distributions 
dans £'{G) telles que WF(ip) et WF(ip) ne rencontrent pas —WF^. Alors WF(ip * ip) ne 
rencontre pas non plus —WF^. 

2) Soient Ti et l?2 deux parties coniques fermees de T*G\{0}, et soit Q une partie conique 
fermee bi-invariante de T*G\{0} contenant Ti et T 2 - Alors le produit de convolution est 
sequentiellement continu de S^iG) x £p 2 (G) dans £g(G). 

III. 3. Application a l'etude des operateurs ir((p) 

Nous avons defini dans l'introduction l'operateur non borne 7r(<p) pour une representation! 
unitaire tv d'un groupe de Lie G et une distribution a support compact <p sur G. Nous 
donnons ici une condition suffisante, portant sur le front d'onde de ip, pour que 7r(<p) 
soit regularisant, et nous montrons que dans le cas ou la representation it est fortement 
tragable, la meme condition implique que 7r(<p) est un operateur a trace. 

Theoreme III. 4. 

Soit tv une representation unitaire d'un groupe de Lie G et V une partie conique fermee 
de Vespace cotangent T*G prive de la section nulle ne rencontrant pas — WF^. Alors tout 
operateur T e Ji^i-n) laissant le domaine de 7r(<p) invariant deGnit une correspondance 
lineaire sequentiellement continue : 

Rt '■ 8y{G) — > J2 

Demonstration. On se donne une distribution <p e £{-{G) et on considere le laplacien : 

n 
i=l 

ou (Xi,...,X n ) est une base de 0, et on considere le noyau de la chaleur p t = e~ tA S 
associe ([Ne], [Hu], [Rob],...). C'est une famille (pt)t>o de fonctions C°° sur G qui verifie : 

1) Pt = Pt 

2) IN|i = l 

3) Pt(g) > pour tout g G G 

4) pt dans V'(G) 

5) pt * p s = Pt+s (propriete de semi-groupe) . 
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Soit 7T une representation unitaire de G. Alors [Ne § 8 theorem 4] l'operateur 7r(p t ) est 
regularisant. On sait aussi [Ne-St theorem 2.2] que 7r(A) est essentiellement auto-adjoint 
(et positif). On peut done ecrire, grace au theoreme spectral : 



r-too 

tt(A) = / XdE(X) 
Jo 

r+oc 

*(Pt) = / e- tx dE(X) 
Jo 



On voit ainsi que (ir(pt))t^o est une famille croissante d'operateurs bornes qui converge 
fortement vers l'identite. On calcule alors la norme de Hilbert- Schmidt de ir(p t )ir(ip)T 
pour tout T 6 J 2 laissant invariant le domaine de n(<p) : 

lk(p t )7r(^)T||l = Tr(7r(p t )7r(cp)TT*7r(cp*)7r(p t )) 
= Tr 7r (TT*)(<p**p 2t *<p). 

Par bi-invariance du front d'onde de la representation, —WFk n WF{<p*) = 0. D'apres le 
corollaire III. 3 le front d'onde de ip* * ip ne rencontre pas —WF^. D'apres l'hypothese du 
theoreme il est done licite d'effectuer le produit de la distribution <p* *<p par la distribution 
TiV (TT*), et on a : 

TV^TT*)^* *p 2t * ip) < TV^TT*).^* * ip), 1 > . 

Autrement dit ||7r(pi)7r(<£>)T||2 admet une limite I lorsque t tend vers 0. D' autre part, si 
(ei) designe une base orthonormee de H, n contenue dans le domaine de 7r(<p) on a : 

\\n(p t )n(ip)T\\l = < n(p 2 t)n(p)Te t , n(ip)Tei) > . 

i>0 

On en deduit d'apres le theoreme de convergence monotone (puisque n(p2t) est croissante) 
que la somme : 

]Tlk(<^|| 2 

i>0 

converge vers la limite £ definie ci-dessus. II resulte alors de [DS lemma XI.9.32] que 
l'operateur ir(ip)T est dans J2 et que : 

\\n(p)T\\ 2 2 = £ =< Tr n (TT*).(ip* *<p),l>. 

Enfin soit Q une partie conique fermee bi-invariante de T*G\{0} contenant V et ne rencon- 
trant pas —WF^. D'apres le corollaire III. 3 la correspondance ip 1— > ip**ip est sequentiellement| 
continue de £f (G) dans S'g(G). La continuity sequentielle de Rt '■ <p 1— > ^(v 9 )^ de S^(G) 
dans J2 provient alors directement de la continuite du produit de £' WF (G) x £g(G) dans 
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Corollaire III. 5. 

Soit it une representation unitaire d'un groupe de Lie G. Pour toute distribution <p e S'{G) 
telle que : 

WF((p) n -WF n = 

Voperateur est borne. 

Demonstration. Ce corollaire resulte du lemme suivant : 
Lemme III. 6. 

Soit A un operateur deGni sur un domaine dense V d'un espace de Hilbert 7i tel que pour 
tout T E J 2 laissant V invariant l'operateur AT soit encore dans J 2 . Alors A est borne. 

Demonstration. Supposons que A ne soit pas borne. II existe alors une suite de vecteurs 
de norme 1 dans le domaine de A telle que A£j = rjj avec ||?7j|| = aj — > +oo. Quitte 
a prendre une sous-suite on peut supposer que Ton a : 

otj > j. 

Soit (ej) une base orthonormee de H contenue dans T>, et soit l'operateur T : V — > V defini 
par : 

On suppose que ^ (3 1 < +oo, de sorte que l'operateur T appartient a J 2 . On a ATej = 
PjTjj. Supposant j3j = i, on a : 

PT||| = X;«J|^-| 2 = +oo, 

autrement dit AT n'appartient pas a J 2 . 

Remarque : ceci ne montre pas la continuity de la correspondance <p i— > 7r(<^) de £f(G) 
dans JooC 71 ")- 

Theoreme III.7. 

Soit % une representation unitaire d'un groupe de Lie G. Pour toute distribution <p e S'(G) 
telle que : 

WF(cp) n -WF n = 

l'operateur 7r((p) est regularisant. De plus si n est fortement tragable, Tr(ip) est un operateur 
a trace. Pour toute partie conique fermee V de T*G prive de la section nulle et veriGant : 

r n -WF n = 0, 

la correspondance <p — > 7r(<p) est sequentiellement continue de £f(G) dans J\. Enfin on a : 
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Demonstration. II suffit d'appliquer le corollaire III. 5 a v * <p pour tout v eU(q) pour voir 
que 7r(<p) est bien regularisant. Enfin si it est fortement tragable l'ecriture : 

A = 7r(l + A)- S (7r(l + A) S A). 

montre que tous les operateurs regularisants sont a trace. On a de plus [DS lemma XI.9.20] : 

IkMlli < M<P* (1 + A) 2s )tt(1 + A)- S || 2 ||7r(l + A)" s || 2 

En remarquant que <p ip*(l + A) 2s est continue de S^(G) dans S^{G) et en appliquant le 
theoreme III. 4 avec T = + A)~ s pour s assez grand on obtient la continuity sequentielle 
de ip i — 7r(<p). Enfin la formule enoncee est immediate lorsque la distribution <p appartient 
a C%°(G), et C%°(G) est sequent iellement dense dans E' v (G), ce qui permet d'etendre la 
formule a toutes les distributions <p G S^(G) si V fl — WF n = 0. 

• 

IV. Extension de la formule des caracteres 

On suppose maintenant que la representation it est irreductible, et qu'elle verifie 
1'hypothese suivante : 

Hypothese (H) : 

7r est associee a une orbite coadjointe fermee Q par la methode des orbites de Kirillov, de la 
maniere suivante : il existe un voisinage exponentiel U de dans q, un entier strictement 
positif k(tt) et une fonction Pq analytique partout non nulle sur U et telle que Pq(0) = 1, 
tels que la formule des caracteres : 

(*) Tm(T) = K(n) [ ^(P^j G .(Toexp))Mc^M 

Jo. 

soit veriB.ee pour toute fonction T de classe C°° a support compact inclus dans expU. 
IV. 1. Commentaires sur 1'hypothese (H) 

II existe de nombreux cas ou l'liypothese (H) est verifiee : 

1. Lorsque G est compact connexe toute representation unitaire irreductible 7r verifie 
(H) avec k(tt) = 1. C'est egalement vrai lorsque G est nilpotent connexe, et dans ce cas 

= 1 [Kir]. 

2. Lorsque G est resoluble connexe et simplement connexe, a toute orbite coadjointe 
O telle que si / G O Pindice du stabilisateur reduit G(f) dans le stabilisateur G(f) soit 
fini [Pk] on associe [Kh 1] une famille de representations factorielles normales p de type 
I. L'indice defini ci-dessus est de la forme n 2 ,n G N* [Cha 1], et la representation p est 
de la forme nn ou 7r est unitaire irreductible. Si de plus l'orbite O = G.f est fermee et 
temperee la representation % verifie (H) avec k(tt) = n. Ceci generalise les resultats de M. 
Duflo [BCD chap. IX] sur les caracteres des representations associees a une orbite entiere, 
c'est-a-dire dans le cas n = 1. 
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3. L'hypothese (H) est verifiee pour les series discrete et principale generalised d'un 
groupe reductif [Ros]. On peut prendre dans ce cas pour fonction Pq la fonction : 



Cette fonction convient aussi dans le cas resoluble lorsque l'orbite est de dimension maxi- 
male [Kh 1 § 4.2.1]. 

4. Enfin l'hypothese (H) est verifiee avec la meme fonction P que ci-dessus pour les 
representations unitaires irreductibles d'un groupe de Lie general construites par M. Duflo 
[Du] associees a une orbite coadjointe fermee, temperee et de dimension maximale [Kh 3]. 
La formule obtenue coincide avec la formule de Rossmann dans le cas reductif (voir 3. 
ci-dessus) . 

Pour decrire l'entier k(tt) il nous faut rappeler brievement la construction de M. Duflo 

[Du] : a un element / G 0* on associe un certain revetement d'ordre deux G(f) du 

stabilisateur G(f) et on designe par e l'element non trivial de G(f) qui se projette sur 
l'element neutre de G(f). On designe par X irr (f) l'ensemble des classes de representations 

unitaires irreductibles r de G(f) dont la differentielle est multiple de la restriction de —if 
a G(f) (le signe moins provient de nos conventions sur la transformee de Fourier) et telles 
que r(e) = —1. Si X 1Tr (f) est non vide on dit que / est admissible. 

On dit que / est bien polar isable s'il existe en / une polarisation resoluble complexe 
verifiant la condition de Pukanszky. La construction de M. Duflo consiste a associer a 
/ G Q* admissible et bien polarisable et a r G X 1YY (f) une classe Tf jT de representations 
unitaires irreductibles de G. Dans le cas ou l'orbite de / est fermee, temperee et de dimen- 
sion maximale M.S. Khalgui [Kh 3] montre que si de plus r G X irr (f) est de dimension 
finie l'hypothese (H) est alors verifiee pour T/ )T avec : 



Khalgui [Kh 2 § 8] a par ailleurs trouve un exemple de representation tragable qui 
ne verifie pas (H) : pour une certaine representation unitaire irreductible d'un groupe G 
produit semi-direct d'un groupe semi-simple compact K par son algebre de Lie % il exhibe 
une orbite O temperee telle que la formule des caracteres est verifiee, mais avec une fonction 
Pq qui ne peut pas etre C°° en 0. 

IV. 2. Extension de la formule des caracteres 

On se pose le probleme suivant : peut-on etendre pour une representation verifiant (H) 
la validite de la formule des caracteres au-dela de C^°(U)7 Autrement dit pour quelles 
distributions ip a support compact l'operateur iv(<p) est-il a trace, et a quelles conditions 
la trace de l'operateur n(ip) est-elle donnee par l'integrale de la transformee de Fourier de 
Pq 1 .ip sur l'orbite? 

Comme l'orbite O est supposee temperee, on voit que si la transformee de Fourier de 
Pq 1 .ip decroit suffisamment rapidement sur l'orbite le membre de droite dans la formule 




K,(Tf jT ) = dimr. 
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des caracteres est convergent. Nous allons done montrer que l'operateur 7r(<p) est a trace 
si WF(ip) ne rencontre pas l'oppose du cone asymptote a fi, et que dans ce cas Tnr(<p) 
est donnee par la formule des caracteres (*). 

Proposition IV. 1. 

Toute representation n unitaire irreductible veri&ant Vhypothese (H) est fortement traqable.^ 

Demonstration. Le point cle est le fait que l'orbite Q associee est temperee [Cha 2,3]. On 
aura egalement besoin d'un lemme d'analyse fonctionnelle : 

Lemme IV. 2. 

Soit (Ak)k>i une suite d'operateurs de Hilbert-Schmidt dans un espace de Hilbert separable 
H, et soit A un operateur borne, tels que : 

1) Ak converge fortement vers A lorsque k — > +oo 

2) \\A k \\ 2 >£e [0,+oo[. 

fc — >+oo 

Alors A est un operateur de Hilbert-Schmidt. 

Demonstration. On se donne une base orthonormee (e*) de 7i. La suite de fonctions 
positives : 

if k : i i — > \\A k e t \\ 2 

converge ponctuellement vers <p : z i— > ||ylei|| 2 . Le lemme de Fatou permet de montrer que 
la serie : 

i 

est convergente. D'apres [DS lemma XI.9.32] l'operateur A est done dans J<i. 

• 

Fin de la demonstration de la proposition IV. 1 : soit V un voisinage exponentiel de e 
dans G. Soit <p G C™(V) avec m entier positif. Soit (ak) une approximation de l'identite 
dans C%°(G), telle que pour k assez grand le support de cpk = at * soit encore contenu 
dans V. Pour tout entier pair 2j < m — n — 1 la fonction (1 + ||^|| 2 ) : 'jF(P^" 1 (^ fc ) converge 
uniformement sur $j* vers (1 + \\^\\ 2 y ^(P^ 1 ^). Comme l'orbite est temperee [Cha 2,3], si 
m est assez grand il existe done j tel que l'integrale : 

/ HPn 1 m)dfo(0= [ ^ + U\\ 2 ) j ^(Pn 1 m)^+U\\ 2 )- j dPn(0 
Jn Jo, 

est convergente et la mesure (1 + ll^ll 2 ) - - 7 ^/^ est finie. En appliquant la formule des 
caracteres a 7r(<fik) et le theoreme de convergence dominee de Lebesgue on a : 

Tv(<p k )- > I r(P^^p)(0df3a(i) 

L'operateur 7r(<p) est borne puisque <p G L X (G). Appliquant alors le lemme IV. 2 a la suite 
d'operateurs : 

A k = ir(<fk), A = n(ip) 
18 



on voit qu'il existe un entier m tel que pour tout cp G C™(V) l'operateur tt(<p) appartient 
a J2. Quitte a augmenter sensiblement l'entier m on peut alors passer de J2 a J\ : on 
utilise le resultat suivant (M. Duflo dans [BCD lemme IX. 3. 2. 3], cf. aussi [J0] theorem 
4), consequence de Pellipticite au voisinage de l'element neutre de l'operateur invariant 
a droite donne par A : quitte a retrecir un peu l'ouvert V il existe un entier m', une 
distribution (3 G S'(V) et une fonction 7 G C£°(V) tels que : 

A* m ' * p = 5 + 7 

ou 5 designe la mesure de Dirac en l'element neutre. L'operateur invariant a droite 
donne par A m *_ etant elliptique d'ordre 2m', la distribution (3 est une fonction de classe 
C 2m ~ n_1 j done de classe C m si m' est assez grand. On deduit de ceci, comme dans [BCD 
p. 251-252] que Ton a : 

ip = ip * A* 2m ' * j3 * j3 - (p * A* m ' *(7*/3 + /3*7) + (/7*7*7 

d'ou on deduit : 

ir(<p) = ir(<p) o (yr(A) 2m ' o tt(/3) 2 + n(A) m ' o (ir(rf)ir(P) + w(PM-y)) + tt( 7 ) 2 ) 

Si cp G C™ +4m '(G9 les operateurs ir((p) o tt(A) 2?7 \ tt(^) o 7r(A) m ' et tt(» sont dans J 2 
d'apres ce qui precede, done bornes, et les operateurs tt((3) 2 , 7r(7)7r(/3) + tt((3)tv(^) et 7r(7) 2 
sont a trace puisque ir{j3) et 77(7) sont dans J2. Done 7r(<^) est a trace, ce qui demontre la 
proposition, d'apres le critere 3) de la proposition 1.1. 

• 

Theoreme IV. 3. 

Soit tv une representation unitaire irreductible de G veriGant Vhypothese (H). On designe 
par AC (ft) le cone asymptote a Vorbite, e'est-a-dire Vensemble des £ G g* tels que tout 
voisinage conique de £ a une intersection non bornee avec O. Soit V un voisinage expo- 
nent iel de e dans G. Alors : 

1) WF° c -AC(Q) 

2) Pour toute distribution ip G S'(V) telle que : 

WF(ip) n -WFi, = 0, 

Voperateur ir((p) est a trace, et la formule des caracteres : 

(*) TrTr(<p) = K(n) [ F(Pn 1 .0)(u;)d0aW 

Jo. 

est veri&ee. 
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Demonstration. Le 1) est du a R. Howe [Hw proposition 2.2], qui en donne une demonstration! 
succincte dans le cas nilpotent. Pour une demonstration dans le cadre general de la 
transformee de Fourier d'une mesure positive temperee quelconque, voir [D-V lemme 4]. 
Rappelons-en le principe : au vu de la proposition II. 2 et de la formule des caracteres un 
point £o £ 0* n'appartient pas a WF® = WF°(xir) si et seulement si il existe un voisinage 
W de £o et un voisinage ouvert U de e dans G tels que pour tout £ G W et toute fonction 
a G C™(U) Pintegrale : 

(I) f ^(P^a)(uj + tOdp Q 

est a decroissance rapide lorsque t — > +oo, et ce de maniere uniforme lorsque £ varie dans 
un voisinage compact de £o dans W. Supposons que £o n'appartienne pas a — AC(Q). 
Alors il existe un voisinage W de £o et une constante B > telle que pour tout ui G O et 
pour tout t assez grand on ait : 

iiw+t$ii>BtiKii. 

Comme par ailleurs la transformee de Fourier F^P^a) est a decroissance rapide on montre 
facilement en utilisant le fait que la mesure d(3n est temperee que (I) est a decroissance 
rapide en t. 

Pour le 2) il suffit de remarquer que le membre de droite de la formule (*) se prolonge 
en une forme lineaire continue sur £f (V) pour toute partie conique fermee V de T*V\0 ne 
rencontrant pas WF n . Par ailleurs d'apres le theoreme III. 7 le membre de gauche definit 
une forme lineaire sequentiellement continue sur £f(G), et done aussi sur £f(V). Ces deux 
formes lineaires sont done egales puisqu'elles sont egales sur le sous-espace sequentiellement 
dense C£°(V) ([Hr 1§ 2.5]). 

• 

Remarque : la proposition 2.2 de [Hw] stipule l'egalite de WF® et de — AC(Q) dans le cas 
nilpotent. L'idee de demonstration est la suivante : on suppose G connexe et simplement 
connexe, on identifie G et son algebre de Lie via l'exponentielle et on considere la famille 
de fonctions "presque a support compact" (^ r ) T6 [2 j + 00 ] definie par : 

(fir{X) = T e 2 

pour t < +oo et (p^ = 0. Cette famille de fonctions forme un compact de C°°(g). On 
montre alors que pour £ G — AC(Q) il existe une suite £fc — ► £ telle que l'expression : 

n'est pas a decroissance rapide en r. II suffit de considerer une suite £& — * £ telle qu'il 
existe — > +oo tel que —Tkiu G O (par definition du cone asymptote). II existe un element 
ujq G O et une suite G G telle que —Tkik = Ad* ujq. On a alors : 

I k := F(¥T k -Xir)(Tk£k) = / F-<PT k (w + T k ik) d(3a{uj) 

Jn 

= / ^-VTfcfAd* g k .(u - w )) dPn(u). 
Jo, 
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II existe un voisinage compact V de dans g* tel que : 

/ d(3 n (oj)>2 
J {wef!/u-u eF} 

et un tq tel que tel que : 



On a done 



■qev z 



— 1 — — 



^'(logTfc) 2 

II yfcii 
>T t - 1 (logr t )-t||Ad* gt ||- dl » n . 



> T > "W ttil-W *H 



Par nilpotence de G on peut choisir tel que || Ad* g k \\ soit a croissance polynomiale en 
Tfc, ce qui montre que Ik n'est pas a decroissance rapide en rfc. On se donne alors une 
fonction 7 G C£°(U) egale a 1 au voisinage de dans 0, ou U est un voisinage quelconque 
de 0. Si on pose : 

on verifie facilement que : 

sap^x) - <p' T (x)) = 0(t~ n ) 

X 

pour tout N. L'integrale : 

n'est done pas a decroissance rapide en r. Le vecteur £ appartient done au front d'onde 
de Xin done a WF® d'apres la proposition II. 2. 

V. Applications 



V.l. Application aux operateurs pseudo-differentiels 

On introduit dans [Ml, M2] les classes de symboles analytiques de la fagon suivante : pour 
tout voisinage compact Q de dans g, pour tout reel m et pour tout p G [0, 1] on definit la 
classe AS™'®{q*) comme l'espace des fonctions p sur q* dont le support de la transformee 
de Fourier inverse est inclus dans Q, et qui verifient les estimations : 

i^ a p(Oi<Ca(i + neii) m - p|a| . 

Les symboles utilises sont des transformees de Fourier de distributions a support compact 
sur 0, dont le support singulier est reduit a {0} lorsque p > 0. Le cadre des distributions 
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a support compact que nous avons choisi ici correspond par transformed de Fourier a la 
classe ASjf'Q avec p = 0. La convolution sur le groupe donne done naissance a un produit : 

# : ASq I,q x AS^ Q — > AS^ Q2 

si Q est assez petit. La restriction de ce produit a AS^ ,( ^ x ASjf'® pour p > 1/2 permet 
de developper [Ml] un calcul symbolique similaire a plusieurs egards a celui des operateurs 
pseudo-differentiels sur IR n . Pour toute representation unitaire it de G on definit alors 
l'operateur pseudo-differentiel de symbole p dans l'espace de la representation it par : 

avec jG(^)</?(expx) = £>(x) = pour iGg. Le support singulier de cp etant reduit a 

l'element neutre son front d'onde s'identifie a un cone dans g*, et l'application du theoreme 
III. 7 et du theoreme IV. 3.1) dans ce cas particulier nous redonne le theoreme III.l de [M2]. 

V.2. Restriction a un sous-groupe ferme transverse 

On se donne un groupe de Lie G d'algebre de Lie g, et une representation unitaire 
fortement tragable n de G. On se donne un sous-groupe ferme H transverse au front d'onde 
de 7T, e'est a dire tel que WF® n t)" 1 = 0. On se fixe une mesure de Haar a gauche dh sur 
H 

Toute fonction ifj e C^°(H) donne naissance a une distribution tp a support compact 
sur G, definie par : 

< ip, (p > =< ip, <p\ > 

I H 

= [ ^{h)ip{h)dh. 
JH 

On a bien entendu : 

WF e (^) C f^. 

On en deduit facilement que WF(ip) fl —WF^ = 0. On utilise alors le theoreme III. 7 : 
l'operateur ir(ip) est a trace. Or on a l'egalite entre operateurs : 

Tr(lp) = 7T| (ip). 
I H 

La representation tt i est done tragable, et on a bien : 

< X(n, ),ip> = Tr(n\ ($)) 

| H \H 

= Tr(ir(ip)) 

=< Xir-ifi, 1 > d'apres le theoreme III. 7 

= < (Xtt) I 7 V 7 > P ar definition de la restriction d'une distribution. 

I H 

d'ou l'egalite : 

X(tt| ) = (Xtt)i • 

\H \H 

Autrement dit : 
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Theoreme V.l. 

Soit G un groupe de Lie d'algebre de Lie q, soit n une representation unitaire fortement 
tragable de G, et soit H un sous-groupe ferme de G d'algebre de Lie f) veriGant la condition : 



wf° n h = 0. 

Alors la restriction de it an sous-groupe H est tragable, et le caractere de ir\ est donne 

I H 

par la restriction du caractere de it au sous-groupe H. 
Corollaire V.2. 

Sous les hypotheses du theoreme V.l, la restriction de it au sous-groupe H est somme 
directe de representations unitaires irreductibles traqables de H, chacune intervenant avec 
multiplicite finie. 

Ce resultat a ete conjecture par M. Duflo et M. Vergne ([D-V], fin du chapitre 1). 
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